Al-Kharrat dilahirkan dalam sebuah keluarga Sunni Muslim di Damsyik pada 1961, ketika pemerintahan Uthmaniyah di Syria.[1][ruj 1] Beliau berkhidmat sebagai pengawal malam bagi kawasan al-Shaghour dan sebagai penjaga kebun kejiranan.[ruj 1][ruj 5][ruj 6] Damsyik ditawan oleh pemberontak Arab ketika Perang Dunia Pertama pada Oktober 1918. Selepas itu, kelab dan pertubuhan kebangsaan Arab muncul di bandar untuk meningkatkan sokongan terhadap pemberontak.[ruj 7] Kelab itu membantu ketua pemberontak, Emir Faisal membentuk kerajaan awal.[ruj 7] Al-Kharrat menjadi sekutu bagi kelab Arab memberi sokongan kepada Faisal di al-Shaghour.[ruj 8] Pada Julai 1920, kerajaan Faisal runtuh selepas pelbagai angkatannya dikalahkan oleh Perancis dalam Pertempuran Maysalun.[ruj 9] Sesudah itu, Perancis menakluk Syria di bawah perlindungan mandat Liga Bangsa.

Pada tahun-tahun awal pemerintahan Perancis, al-Kharrat merupakan qabaday (jamak qabadayat),[ruj 5][ruj 10] ketua samseng di kejiranan tempatan di al-Shaghour.[ruj 11] Qabaday secara tidak formalnya bertanggungjawab dengan menyuarakan rungutan dan mempertahankan kehormatan kawasan kejiranan daripada penjenayah tempatan atau pencerobohan qabadayat dari kejiranan lain.[ruj 11] Beliau terkenal sebagai seorang lelaki yang dihormati kerana kekuatan peribadinya[ruj 11] serta melindungi golongan minoriti dan orang miskin.[ruj 12] Menurut sejarawan Philip S. Khoury, qabaday diangap sebagai "pendukung tradisi dan adat Arab, penjaga budaya popular".[ruj 11][ruj 12] Khoury juga menegaskan bahawa al-Kharrat "mungkin ialah qabaday paling dihormati dan berharga pada zamannya".[ruj 10] Qabadayat biasanya menjauhkan diri mereka daripada pendidikan formal[ruj 11] dan sejarawan, Michael Provence berpendapat bahawa al-Kharrat kemungkinan buta huruf.[ruj 13] Qabadayat juga biasanya mempunyai hubungan dengan tokoh-tokoh bandar tertentu dan dapat menjamin sokongan politik mereka di kejiranan mereka.[ruj 11] Al-Kharrat bersekutu dengan Nasib al-Bakri, ahli siasah dan tuan tanah dari Damsyik.[ruj 6] Keluarga al-Bakri merupakan keluarga paling berpengaruh di al-Shaghour dan al-Kharrat berkhidmat sebagai penghubung dan penguat kuasa kawasan bagi keluarga itu.[ruj 14]